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Дано описание организационно-педагогических условий экспертизы предтеста, способствующих разработке качественного ин- 
струмента для измерений в области учебных достижений. Рассмотрены объект, цели, этапы, возможные методы проведения 
адекватные целям. Подробно изложено содержание экспертизы с выделением критериев оценивания, предложены параметры 
оценивания. 


1. Актуальность проблемы обеспечения 

качества дидактического теста 

В последнее время все больше растет интерес к 
дидактическому тестированию как наиболее 
объективному методу оценки качества степени об- 
ученности. Но, как справедливо отмечают В. Шад- 
риков и Н. Розина [1], «разработка тестов, проведе- 
ние тестирования, обработка и представление ре- 
зультатов в стране пока не соответствуют междуна- 
родным стандартам в области тестирования». 

Актуальность настоящих исследований вытека- 
ет из потребностей практики педагогического кон- 
троля по улучшению качества используемых тесто- 
вых материалов. Пожалуй, наиболее важным ис- 
ходным моментом является определение суще- 
ственных признаков той разработки, по результа- 
там применения которой будут приниматься упра- 
вленческие решения. Из множества известных сто- 
ит, с нашей точки зрения, придерживаться опреде- 
ления, данного А.Н. Майоровым [2]: «Тест - это 
инструмент, состоящий из квалиметрически выве- 
ренной системы тестовых заданий, стандартизиро- 
ванной процедуры и заранее спроектированной 
технологии обработки и анализа результатов, пред- 
назначенный для измерения качеств и свойств 
личности, изменение которых возможно в процес- 
се систематического обучения». Если рассматри- 
вать тест как стандартизированный инструмент из- 
мерения качеств и свойств личности, то составны- 
ми частями следует признать не только систему за- 
даний, но технологию организации, обработки, 
анализа полученных результатов. В массовой педа- 
гогической практике нередко любой набор зада- 
ний, стандартизованных согласно требованиям те- 
стовой формы, ассоциируется с тестом, исходя при 
этом из аналогии с привычными короткими кон- 
трольными заданиями. Такие псевдотесты спло ит ь 
и рядом публикуются в специальных сборниках, 
применяются в отечественной практике особенно 
часто внутри образовательных учреждений. 

Исходя из понятия теста, экспертизе должны 
подвергаться не только задания, а вся измеритель- 
ная система: и спецификация, и методическое ос- 
нащение теста, включающее, как минимум, набор 
требований, инструкций для участвующих в проце- 
дуре, сценарий тестирования, правила обработки и 
интерпретации результатов, а в случае использова- 


ния компьютера - соответствие алгоритмов про- 
граммного обеспечения тестологическим требова- 
ниям. Набор перечисленных материалов нельзя 
назвать тестом, так как не определена его оконча- 
тельная структура, отсутствуют данные о систем- 
ообразующих качествах, поэтому, уточняя понятие, 
будем придерживаться названия «предтест» [3]. 

В работах [2, 3] обращается внимание, прежде 
всего, на отсутствие массового отечественного 
опыта в разработке тестов и, как следствие, на 
необходимость достаточно подробных инструкций 
процедур экспертизы, «а если позволяют ресурсы, 
то и специальное обучение экспертов». Опыт под- 
готовки тестологов-специалистов в области педа- 
гогических измерений в Томском политехниче- 
ском университете показывает нерешенность как 
методических, так и организационных проблем в 
проведении экспертизы. 

В предлагаемой нами педагогической модели 
сделана попытка по обобщению и совершенство- 
ванию процессов проведения экспертизы дидакти- 
ческих тестов. Первоначально была разработана 
имитационная модель экспертизы, при практиче- 
ской реализации отдельных этапов которой уточ- 
нены, скорректированы условия и процедуры экс- 
пертизы [4]. 

Следует отметить, что в работе мы не будем рас- 
сматривать математические модели поведения экс- 
пертов и математико-статистические методы ана- 
лиза экспертных оценок, т.к. теория и практика 
экспертных оценок не относятся к области педаго- 
гики, хорошо исследованы в прикладной матема- 
тике, социологии. 

2. Основные этапы процедуры экспертизы предтеста 

Выделены следующие стадии организации экс- 
пертного опроса: 

1. формулировка цели экспертного опроса; 

2. подбор руководителем основного состава рабо- 
чей группы; 

3. разработка рабочей группой и утверждение у 
руководителя технического задания на проведе- 
ние экспертного опроса; 

4. разработка рабочей группой подробного сцена- 
рия проведения сбора и анализа экспертных 
мнений (оценок); 
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5. подбор экспертов в соответствии с их компе- 
тентностью; 

6. формирование экспертной комиссии (целесо- 
образно заключение договоров с экспертами об 
условиях их работы и ее оплаты, утверждение 
состава экспертной комиссии); 

7. проведение сбора экспертной информации; 

8. анализ экспертной информации; 

9. при наличии нескольких туров - повторение 
двух предыдущих этапов; 

10. интерпретация полученных результатов и под- 
готовка заключения для руководителя. 

3. Основные методы экспертизы предтеста 

Основная идея экспертных методов состоит в 
том, чтобы использовать интеллект людей, их спо- 
собность искать и находить решение слабо формали- 
зованных задач. Однако особенность интеллектуаль- 
ной деятельности людей состоит в том, что она во 
многом зависит от внешних и внутренних условий. 
Поэтому в технологии организации экспертных оце- 
нок специальное внимание уделяется созданию бла- 
гоприятных условий и нейтрализации факторов, не- 
благоприятно влияющих на работу экспертов. 

Существует масса методов получения эксперт- 
ных оценок. Как показывает практика проведения 
экспертизы предтеста (централизованное тестиро- 
вание), наиболее эффективен метод "Делфы" [5]. 
Если проводить оценку альтернатив в несколько ту- 
ров, сообщая после каждого его полные итоги и сох- 
раняя анонимность участников, то эксперты склон- 
ны не только критиковать, но и прислушиваться к 
критике, относящейся к ним лично. Обычно оказы- 
вается достаточно следующих четырех этапов: 

1. раздача анкет, сбор оценок, их обобщенное 
представление с указанием разброса мнений; 

2. сообщение итогов и запрос объяснений причин 
индивидуального отклонения от средней или 
медианной оценки первой итерации; 

3. сообщение всех объяснений и запрос контрар- 
гументов на них; 

4. сообщение возражений и запрос новых оценок 
альтернатив, если эксперт пожелает их изме- 
нить; нахождение окончательного итога. 

Вся работа проводится под руководством от- 
дельной управляющей группы, в которую входят 
системный аналитик и руководитель. Аноним- 
ность экспертов сохраняется до конца работы, а по 
желанию экспертов - и после ее окончания. 

Поскольку взаимодействие между экспертами 
может, как стимулировать, так и подавлять их дея- 
тельность, в разных случаях можно рекомендовать 
методики экспертиз, имеющие различные степень и 
характер взаимного влияния экспертов друг на друга: 

• анонимные и открытые опросы и анкетирование ; 

• совещания (комитеты, коллегии, комиссии, 
штабы); 


• дискуссии (консилиумы, суды, ученые советы); 

• деловые игры, мозговой штурм и т.д. 

4. Подбор экспертов для оценивания 

Структурообразующими частями модели экспер- 
тизы явились: цели, предмет, формы процедур, кри- 
терии оценки качества, интерпретация результатов. 
Но, прежде всего, необходимо было проанализиро- 
вать и решить основную на сегодняшний момент 
проблему подбора экспертов. Мы исходили из того, 
что эксперт - это специалист в некоторой области, 
суждения и умозаключения которого в этой области 
обладают высокой степенью достоверности [5]. 

К специалистам-экспертам чаще необходимо 
предъявлять требования высокой практической под- 
готовленности, способность к критическому анализу 
прошлого и настоящего и прогнозированию будуще- 
го, психологическая устойчивость, отсутствие 
склонности к соглашательству. Вместе с тем, от экс- 
перта требуется эрудиция в смежных областях зна- 
ний: педагогике, психологии, теории педагогиче- 
ских измерений, предметной области знаний. 

Количество необходимых экспертов зависит от 
целей создаваемого теста и квалификации экспер- 
тов. Руководит работой экспертной комиссии рабо- 
чая группа. Наиболее оптимальное количество экс- 
пертов в группе - 3-8 человек. В любом случае, 
эксперты назначаются, как минимум, руководите- 
лем организации, в которой будет использован тест. 

Надо прямо сказать, что нет методов подбора 
экспертов, наверняка обеспечивающих успех экс- 
пертизы. Часто предлагают использовать методы 
взаимооценки и самооценки компетентности экс- 
пертов. С одной стороны, кто лучше может знать 
возможности эксперта, чем он сам? С другой сто- 
роны, при самооценке компетентности скорее оце- 
нивается степень самоуверенности эксперта, чем 
его реальная компетентность. Тем более, что само 
понятие «компетентность» строго не определено. 
Можно его уточнять, выделяя составляющие, но 
при этом усложняется предварительная часть дея- 
тельности экспертной комиссии. 

Необходимо подчеркнуть, что подбор экспер- 
тов в конечном счете - функция рабочей группы. 

В качестве независимых экспертов рассмотрено 
[2] три категории педагогов: администраторы, пре- 
подаватели, методисты по предмету. Если квали- 
фикация перечисленных категорий специалистов в 
области педагогических измерений недостаточна, 
обязательно включают тестологов. Наиболее ус- 
пешно управленцы способны оценить четкость по- 
становки задач тестирования, категорию испытуе- 
мых, соответствие программам обучения, органи- 
зационные процедуры в сценарии испытаний. 
Преподавателям необходимо проанализировать 
полноту содержания, репрезентативность материа- 
ла, выносимого на контроль, правильность форму- 
лировок заданий с точки зрения современных на- 
учных представлений, однозначность ответов. 
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5. Виды экспертиз предтеста 

Эксперты должны руководствоваться общей 
целью своей деятельности, заключающейся в отве- 
те на вопрос: «Какие изменения в рецензируемом 
материале будут способствовать корректному оце- 
ниванию содержания, уровня, структуры знаний у 
данных испытуемых?» Перед началом работы каж- 
дый эксперт должен ознакомиться с методикой и 
содержанием своей работы. Возможно, выполне- 
ние части экспертизы, исключая разделы, наиме- 
нее отвечающие квалификации специалиста. 

Такой подход позволяет использовать рекомен- 
дации В. С. Аванесова [6] по поэтапному проведению 
экспертизы исходного варианта теста, что повышает 
эффективность работы по его созданию. Ко всему 
прочему, в квалифицированном создании теста при- 
нимает участие несколько специалистов-разработ- 
чиков, отвечающих за осуществление разных этапов, 
результаты которых есть возможность планомерно 
корректировать по мере получения экспертных оце- 
нок. В случае суммирующей экспертизы (специфи- 
кации, системы заданий, методического оснащения) 
ошибки, заложенные на начальных этапах разработ- 
ки теста, потребуют более серьезных изменений и 
повторного прохождения части процедур. 

Исходя из вышеизложенного, мы рекомендуем 
следующий порядок этапов в разработке исходного 
варианта теста с параллельной поэтапной экспер- 
тизой по результатам каждого: 

1. Определение цели тестирования, выбор вида 
теста по способу предъявления, обоснование 
подхода к его созданию. 

2. Анализ и структурирование содержания учеб- 
ной области, составление кодификатора, опе- 
рационализация целей обучения. 

3. Разработка спецификации теста, основой кото- 
рой является тестовая матрица с характеристи- 
кой заданий, планирование системы заданий, 
выбор длины теста. Результаты работы по пер- 
вым трем пунктам содержатся в разных разде- 
лах спецификации. 

4. Создание заданий в тестовой форме, апроба- 
ционное тестирование на небольшой выборке 
испытуемых для выявления ошибок, опечаток в 
тексте заданий, времени тестирования. Выбра- 
ковка заданий. 

5. Создание методического оснащения. 

6. Исходные материалы и документы экспертизы 

Независимо от выбранного способа проведения 
оценивания качества теста экспертам должен быть 
выдан комплект материалов, в который входит: 

• бланк о неразглашении содержания рецензиру- 
емых тестов; 

• перечень пронумерованных требований стан- 
дартов и требований, на основе которых фор- 
мировалось содержание тестового контроля ав- 
тором; 


• спецификация теста с набором инструкций, 
сценария, бланков; 

• перечень учебных пособий, государственных 
образовательных стандартов (минимум содер- 
жания образования); 

• тест (варианты); 

• таблица правильных ответов с критериями оцен- 
ки (в баллах) за выполнение каждого задания; 

• бланки экспертизы с таблицами, пояснения по 
оцениванию, работе с бланками; 

• договор; 

• для компьютерного тестирования - структура и 
характеристика банка тестовых материалов, 
технология формирования и предъявления те- 
ста, демонстрационная версия банка, система 
оценивания результатов тестирования. 

7. Разделы экспертизы предтеста 

7.1. Качество спецификации 

Основная часть спецификации - технологиче- 
ская матрица, которая задает содержание проверки, 
уровни контролируемых учебных действий, соот- 
ветствие стандарту и некоторые другие компоненты. 
Экспертиза спецификации необходима для обосно- 
вания оценки знаний по всему предмету на основе 
ответов по малому числу заданий теста. Экспертизу 
рекомендуется проводить по следующим направле- 
ниям с применением трехбалльной оценки (2,1,0). 

• Обоснование выбора подходов к созданию те- 
ста, предлагаемых сфер применения теста (от- 
вечает - частично отвечает - не отвечает целям 
тестирования). 

• Соответствие разделов технологической матри- 
цы разделам в государственном образователь- 
ном стандарте (ГОСе). При высокой степени 
несоответствия следует указать пропущенные 
разделы или те, которые не следовало выделять 
в самостоятельные блоки. 

• Соответствие объема содержания разделов (про- 
грамма, ГОС) количеству заданий на этот раздел в 
спецификации, т.е. пропорциональность числа за- 
даний объему содержания разделов. При разработ- 
ке возможно смещение акцентов в сторону тех раз- 
делов, по которым легче составить задания в тесто- 
вой форме. Для оценки правильности выбранных в 
спецификации пропорций подсчитывается про- 
цент, характеризующий отклонение мнения разра- 
ботчика от мнения эксперта. Мера отклонения вы- 
числяется в виде суммы разностей процентов по 
каждому разделу, каждая разность берется по абсо- 
лютной величине. Например, для 3-х разделов: 
|30-20| + [26—55[ + |44-25|=10+29+ 19=58 %. Сред- 
нее арифметическое равно 19,33 %. 

Если полученный процент несоответствия менее 
10, то точки зрения можно считать условно сов- 
падающими. Несоответствие от 10 до 30 % озна- 
чает, что точки зрения отличаются, но со специ- 
фикацией разработчика можно согласиться. Нес- 
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оответствие свыше 30 % требует привлечения до- 
полнительных экспертов и углубленной работы 
над качеством содержания теста. Результаты экс- 
пертизы по данному пункту даются в баллах в со- 
ответствии с рекомендациями по таблице: 


Таблица 1. Оценка объема содержания разделов учебной 
дисциплины в спецификации 


Вид 

Оценки | 

0 баллов 

1 балл 

2 балла 

Пропорции 

неправильные 
(свыше 30%) 

удовлетворительные 
(от 10 до 30%) 

правильные 
(менее 10%) 


• Наличие ссылок на программы и другие норма- 
тивные документы. 

• Распределение заданий по уровням усвоения 
знаний в соответствии с содержанием учебного 
предмета, требованиями к подготовленности 
испытуемых. 

7.2. Анализ содержания отдельных заданий теста 

Оценка качества отдельных индикаторов и ре- 
зультаты экспертизы содержания заданий офор- 
мляются в виде табл. 2. 


Таблица 2. Оценка качества отдельных заданий теста 


і. 

№ задания 

1 

2 

3 

4 

т 

№ правильного ответа 





т 

№ требования 





~4~ 

Уровень базовое™ 





7Г 

Значимость содержания задания (2, 1, 0) 





6. 

Максимальный балл за выполнение, варианты 
оценивания 





7. 

Ожидаемый процент выполнения испытуемы- 
ми выборки 





1Г 

Ожидаемое время выполнения 





т 

Оценка дистракторов (2, 1, 0) 





ісГ 

Неудачные задания (замечания) 





ТГ 

Комментарии о качестве задания 





12. 

Тестологическая экспертиза: 

Соблюдение грамматических правил, семан- 
тических требований (2, 1, 0) 





із7 

Оформление (2, 1, 0) 





мГ 

Параллельность вариантов (2, 1, 0) 





157 

Система оценивания (2, 1, 0) 






По каждому пункту имеются инструкции по 
оцениванию. Например, для строки 13 «Оформле- 
ние»: Оформление элементов тестового задания 
для быстрого поиска, технологически четкого вы- 
полнения задания (инструкция, номер задания, со- 
держательная часть, варианты ответа, место для от- 
вета): дизайн, требования эргономики, использо- 
вание разных параметров шрифта (размер, выделе- 
ние основных слов, использование курсива, цвета 
и т.п.). В этом же пункте следует отметить качество 
применения контекста: функциональность ис- 
пользования рисунков, диаграмм, аккуратность их 
выполнения, качество сделанных пояснений к ри- 
сункам, наличие лишней информации, подсказок. 


7.3. Анализ теста как системы заданий 
Содержание теста обычно значительно уже со- 
держания учебной дисциплины. Чем полнее содер- 
жание, тем выше содержательная валидность, следо- 
вательно, и качественная оценка знаний с помощью 
данного теста. Оценка проводится по трехбалльной 
шкале по проценту объема содержания контроля в 
тесте от общего объема содержания предмета. 


Таблица 3. Оценка объема содержания учебной дисциплины 
в тесте 


| Оценки і 

0 баллов 

1 балл 

2 балла 

не полное 

менее 40 % 

полное 

40...70 % 

очень полное 

свыше 70 % 


• Соответствие планируемой пропорционально- 
сти содержания в спецификации реальному со- 
держанию теста. 

• Так же оцениваются пропорции распределения 
по деятельностному аспекту - уровням знаний. 

• Полнота охвата требований к уровню подготов- 
ки испытуемых. В основе получения эксперт- 
ной оценки лежат результаты, помещенные в 
третьей строке табл. 2. 

• Соответствие содержания заданий теста перечню 
требований к уровням подготовки, планируемым 
в спецификации теста. Степень несоответствия 
теста задачам тестирования определяется подсче- 
том процента заданий, не предусмотренных в 
спецификации теста. Например, знание классов 
неорганических веществ в спецификации плани- 
ровалось проверить с помощью одного задания, а 
в тесте их получилось 3. Умение составлять фор- 
мулы веществ по названию оценивалось двумя 
заданиями, а в тесте только одно. Сопоставление 
планируемых и реальных количеств заданий в те- 
сте проводится путем вычисления разностей. Та- 
ким образом, подсчитывается общее число зада- 
ний, несоответствующих спецификации теста. 
Для данных примеров это число а будет: 

а=(3-1)+(2-1)+... 

Число а делится на общее число заданий теста и 
умножается на 100 %. Оценка соответствия дана 
в табл. 4. 

• Соответствие содержания теста содержанию 
образовательных стандартов по предмету. 


Таблица 4. Оценка структуры теста 


Вид 

Оценки і 

0 баллов 

1 балл 

2 балла 

Соответствие 

задачам 

неудовлетво- 
рительное 
(более 30 %) 

удовлетвори- 
тельные 
(10...30 %) 

полное 
(менее 10 %) 


7.4. Оценка методического оснащения теста 
Экспертам необходимо оценить представлен- 
ное методическое оснащения, учитывая уровень 
использования теста: 
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Технологии инженерного образования 


• Степень соответствия (адекватность) инструк- 
ций форме и содержанию заданий. 

• Полноту информации, заносимую при регистра- 
ции тестируемым в соответствии с целями исполь- 
зования. Какие данные упущены, избыточны? 

• Насколько удобна испытуемому предлагаемая 
форма занесения ответа. Что можно предло- 
жить для устранения непродуктивных затрат и 
случайных ошибок при оформлении регистра- 
ционных данных, проставлении ответа? 

• Дизайнерское оформление бланков, использо- 
вание шрифта, цвета, наличие и размещение 
примеров заполнения бланков, инструкций для 
испытуемых. 

• Примерное время, которое потребуется испыту- 
емому для вдумчивого чтения инструкции. Пре- 
дусмотрено ли объяснение инструкций веду- 
щим? Целесообразно ли выполнение трениро- 
вочных заданий или размещение их на бланках? 

• Создание мотивации деятельности тестируемых. 

• Уровень детализации деятельности участвую- 
щих в тестировании. Соблюдена ли точность в 
пошаговой деятельности ведущего? Какие дей- 
ствия ведущего, испытуемого не оговорены (что 
могут, что обязаны, что запрещено делать)? 

• Есть ли указания по внесению исправлений? 
Насколько понятно они составлены? 

• Точность в списке необходимого оборудования, 
порядке размещения и предъявления инструк- 
ций, бланков, приборов. 

7.5. Оценка алгоритмов программных средств 
компьютерной поддержки. 

На настоящем этапе практически все создава- 
емые тестовые системы имеют компьютерную под- 
держку, которая может использоваться как для соз- 
дания теста из банка тестовых заданий, для тира- 
жирования уже созданных тестов (бланковое, ком- 
пьютерное тестирование), проверки ответов, полу- 
чения и интерпретации результатов, статистиче- 
ской обработки полученных результатов и т.д. Как 
показывает практика, использование компьютер- 
ных технологий в тестировании редко опирается на 
научно-обоснованные алгоритмы и процедуры, что 
приводит к низкому качеству и эффективности ре- 
зультатов измерения, несмотря на валидность со- 
ставляющих тест заданий. 
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7.6. Обобщающие выводы и рекомендации 

Эксперт приводит свое общее впечатление о со- 
держании теста. Здесь высказываются все сомне- 
ния и пожелания эксперта, его рекомендации по 
улучшению качества теста. Возможна оценка соот- 
ношения заданий, проверяющих знание теории 
предмета и его практики. Желательно выявить за- 
дания, предназначенные для проверки системы 
понятий, а также задания интегрального характера, 
предназначенные для проверки умений учащихся 
обобщать знания по различным разделам предме- 
та. Возможно ли их включение в предлагаемый тест 
в соответствии с целями контроля? 

Завершается общим заключением эксперта о воз- 
можности использования рецензируемого теста для 
предложенных в спецификации целей и испытуемых. 

8. Общие выводы 

Предложенная модель служит основой для ор- 
ганизации отдельных этапов экспертизы разраба- 
тываемых контрольно-измерительных материалов 
в центре тестирования ТПУ. На ее основе созданы 
методические указания по проведению экспертизы 
отдельных тестовых заданий, разработана органи- 
зационная схема экспертизы. Модель послужила 
основой выполнения ряда научно-педагогических 
исследований на кафедре педагогических измере- 
ний ТПУ, при выполнении ВКР обучающимися по 
программе дополнительного образования «Тесто- 
лог». Следующим шагом в реализации модели яв- 
ляется подготовка экспертов на кафедре педагоги- 
ческих измерений ТПУ в рамках курсов повыше- 
ния квалификации с учетом современных условий. 

Несомненно, точные критерии в методике экс- 
пертизы могут рассматриваться как опосредованные 
требования к качеству теста, что способствует повы- 
шению эффективности конструирования и примене- 
ния дидактических измерителей. Кроме администра- 
торов педагогических учреждений, экспертов, содер- 
жание методики заинтересует любого педагога, нуж- 
дающегося в выборе или разработке качественного 
инструмента контроля, в доработке «сырых» ком- 
плектов заданий до приемлемого уровня качества. 

Большая часть методики, разработанной на моде- 
ли экспертизы, может быть использована для опреде- 
ления содержательной валидности теста, т.к. пригод- 
ность теста определяется, в основном, путем каче- 
ственного оценивания с привлечением экспертов. 
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